豆包工作AI MediaKit视频智能处理：29个AI工具覆盖画质增强/高光拆条/剧本还原/字幕擦除/人脸打码全流程-AI助手

豆包工作AI MediaKit视频智能处理：29个AI工具覆盖画质增强/高光拆条/剧本还原/字幕擦除/人脸打码全流程

AI MediaKit视频智能处理

先说结果

byted-mediakit-video 是豆包工作中 AI MediaKit 专业媒体工具集的视频智能处理域，提供 29 个 AI 驱动的工具，覆盖画质增强（标准/极速/生成式三档）、高光拆条（短剧/小游戏/影视三种模型）、剧本还原与解说视频生成、语音转字幕与画面OCR、硬字幕无痕擦除、人脸打码与暗水印版权保护、绿幕/人像抠像、视频语义理解与场景分段、抽帧与媒资探测、智能转码与极智超清等全流程。全部云端异步处理，输入最高支持 4K/10GB，一条自然语言指令即可触发复杂 AI 处理流水线。

一、技能定位与核心优势

AI MediaKit 视频智能处理域（video）与视频剪辑域（editing）的核心区别：editing 是"手动剪辑"，video 是"AI 智能处理"。editing 做裁剪、拼接、加字幕等确定性操作；video 做画质增强、内容理解、高光识别、剧本还原等需要 AI 大模型的智能任务。

对比维度	editing（剪辑域）	video（智能处理域，本文）
核心能力	裁剪、拼接、调速、滤镜、运镜、字幕压制、混音	画质增强、高光拆条、剧本还原、字幕识别/擦除、人脸打码、抠像、语义理解
AI 程度	确定性操作，参数驱动	大模型驱动，智能识别与生成
工具数量	20 个	29 个
典型输出	处理后的视频/音频文件	增强视频 + 结构化数据（剧本/高光时间戳/字幕文本）

video 域的核心优势：

大模型视频理解：基于视觉大模型，能看懂视频内容——识别剧情故事线、提取高光片段、还原剧本结构、理解场景语义，不是简单的像素处理。

三档画质增强：standard（10余种算法，分发场景）、fast（轻量超分，时延敏感）、generative（Diffusion扩散模型，生成式修复），从快速处理到影视级修复全覆盖。

短剧全链路 AI 化：从剧本还原（drama-script）→ 故事线分析（analyze-video-storyline）→ 高光提取（analyze-video-highlights）→ 高光智剪（generate-highlights-microdrama）→ 解说视频生成（drama-recap/drama-recap-vertical），一条流水线搞定短剧二次创作。

隐私与版权保护：人脸自动打码（马赛克/模糊）、暗水印嵌入与提取（版权溯源）、硬字幕无痕擦除（v4/v5双算法），满足内容合规与版权保护需求。

二、29 个工具全景图

按功能分为十大类，每个工具对应一条 CLI 命令，在豆包工作中用自然语言即可触发：

类别	工具名	核心能力
画质增强	enhance-video	AI画质增强，standard/professional两版，5种场景模板，最高8K超分
	enhance-video-fast	轻量级超分+智能增强，速度优先，时延敏感场景
	enhance-video-generative	Diffusion扩散模型生成式修复，智能补全丢失像素
高光拆条	analyze-video-highlights	短剧/小游戏双模型高光提取，输出时间戳+打分+OCR+描述
	generate-highlights-microdrama	短剧高光智剪，生成混剪/单集预告，支持顺剪/跳剪
	generate-highlights-minigame	小游戏录屏高光识别，生成买量推广素材
	generate-highlights-movie	影视长视频高光拆条，多段指定时长，自动去片头片尾
短剧/剧情	analyze-video-storyline	剧情故事线分析，生成结构化剧情片段+高光故事线
	drama-script	剧本还原，提取场景/人物/对话/情节，输出结构化剧本
	drama-recap	解说视频生成，AI配音+解说字幕，可擦除原文字幕
	drama-recap-vertical	竖版解说视频，高光混剪+AI语音+BGM，短剧三要素模板
字幕处理	asr-subtitles	语音转字幕，中文/英文，支持说话人识别+置信度，最长3小时
	video-ocr	画面字幕OCR识别，输出带时间戳的结构化文本
	erase-video-subtitle	硬字幕智能擦除，保留原始背景
	erase-video-subtitle-pro	精细化字幕擦除，v4/v5双算法，支持区域框选+时间段过滤
隐私/版权	face-blur-video	人脸自动打码，马赛克/高斯模糊，正脸/侧脸，最高4K
	add-video-invisible-watermark	暗水印嵌入，隐藏数字信息，版权保护/泄露溯源
	extract-video-invisible-watermark	暗水印提取，解析隐藏数字信息，支持多次嵌入
抠像	matte-greenscreen-video	绿幕/纯色背景抠图，生成透明或纯色背景视频
抠像	matte-portrait-video	人像自动抠图，识别人物主体，移除背景
理解/分段	video-understand-router	通用视频内容分析，结构化理解结果，内容审核/检索/标签
	segment-scenes	场景自动切分，按转场和画面变化，输出时间轴+独立片段
	semantic-segment	语义智能分段，综合画面/语音/叙事，保证语义完整不切断句子
抽帧/媒资	extract-frames	视频抽帧，封面/预览图/雪碧图，供视频理解任务输入
抽帧/媒资	probe-video-metadata	媒资元信息探测，输出标准化视频元数据
转码/分发	transcode-video	视频转码，编码/分辨率/码率/I帧间隔/封装转换
	remux-video	转封装，仅改容器格式不重编码，点播分发适配
	martencode-video	极智超清，智能选择编码参数，低码率高画质，降带宽成本
画质检测	assess-video-quality	视频画质检测，评估画质质量

三、六大核心能力详解

三档画质增强（enhance-video / fast / generative）
三个工具覆盖不同场景：standard 版内置 10 余种增强算法（去噪/色彩增强/清晰度/超分），支持 5 种场景模板（通用/UGC短视频/短剧/AIGC/老片修复），适合视频分发；professional 版内置 30 余种深度 AI 算法，支持 8/10/12 bit 色深，最高 8K 超分，适合影视级制作；fast 版轻量超分，速度优先，适合时延敏感场景；generative 版基于 Diffusion 扩散模型，智能补全压缩或老化丢失的像素，产出自然高保真画面。

短剧全链路 AI 化（5个工具串联）
短剧二次创作的完整流水线：drama-script 把短剧视频还原为结构化剧本（场景/人物/对话/情节），单次最多 100 集、累计 300 分钟；analyze-video-storyline 分析剧情故事线，生成按时间排列的剧情片段+高光故事线；analyze-video-highlights 用短剧模型识别钩子点/反转/亲密/冲突等高光，输出精准时间戳+打分+OCR+描述；generate-highlights-microdrama 基于角色和剧情理解提取高光，按时长/个数/顺剪或跳剪生成混剪/预告；drama-recap-vertical 自动生成竖版解说视频（高光混剪+AI语音+BGM+短剧三要素模板）。

字幕双向处理（识别 + 擦除）
asr-subtitles 从音轨语音识别带时间戳的字幕，支持中文/英文自动探测，可开启说话人识别（speaker字段）和置信度（confidence字段），视频/音频最长 3 小时，识别的是语音不是画面硬字幕；video-ocr 识别画面中的字幕文字，输出带时间戳的结构化文本；erase-video-subtitle-pro 精细化无痕擦除硬字幕，v4/v5 双算法（v5 优化 AIGC 视频闪烁和带阴影字幕），支持 Subtitle/Text 两种模式，可配置擦除区域框（最多20个）、字幕过滤器（文字高度/居中程度，避免误擦台标水印）、时间段过滤（跳过片头片尾）。

隐私与版权保护（人脸打码 + 暗水印）
face-blur-video 自动精准识别视频中所有人脸区域并打码，支持马赛克（mosaic）和高斯模糊（blur）两种方式，低/中/高三档强度，可设置只打正脸或连侧脸歪头一起打，人脸边界框可扩展 0-100%，最高 4K 分辨率，视频最长 10 分钟；add-video-invisible-watermark 在不影响画质的前提下将一串数字信息隐藏嵌入视频，适用于版权保护/内容泄露溯源/文件真实性校验；extract-video-invisible-watermark 从已嵌入暗水印的视频中解析还原隐藏数字信息，同一视频多次嵌入也能全部提取。

智能抠像（绿幕 + 人像）
matte-greenscreen-video 对绿幕或纯色背景视频自动抠图，识别并保留主体，生成背景透明或纯色背景的视频，适合虚拟主播/产品展示/特效合成；matte-portrait-video 自动识别视频中的人物主体，移除原始背景，生成背景透明或纯色背景视频，适合背景替换/虚拟场景合成/人物特写剪辑，无需绿幕即可抠像。

视频语义理解与智能分段
video-understand-router 基于视觉大模型对单个视频进行通用内容分析，输出视频级结构化理解结果，适用于内容审核/视频检索/标签生成；segment-scenes 依据转场和画面内容变化自动切分多个场景片段，输出每个场景的时间轴信息和独立视频文件；semantic-segment 综合分析画面、语音和叙事结构，通过镜头切换和语音停顿检测，在保证语义完整、不切断单句的前提下将长视频智能切分为多个独立素材片段，适合长视频二次创作的素材预处理。

四、标准工作流

明确业务目标：先确定要做什么——画质增强？高光拆条？剧本还原？字幕擦除？人脸打码？不同目标对应不同工具链。

选定工具链：从 29 个工具中选择一个或多个串联。简单任务单工具即可（如"给视频增强画质"），复杂任务需要多工具流水线（如短剧二次创作需要 5 个工具串联）。

豆包工作输入指令：用自然语言描述需求，包含素材文件、具体参数（如增强版本、场景模板、高光模型、打码方式等），AI 会自动读取技能文档、构造参数、调用 CLI。

异步任务轮询：所有工具异步执行，提交后返回 task_id，AI 自动用 query-task --poll-complete 轮询直到完成。画质增强 professional 版或 4K/8K 超分可能超过单次 9 分钟轮询上限，需继续轮询。

获取结果：结果包含处理后的视频/音频文件 URL（临时链接 24 小时有效），以及结构化数据（如剧本 JSON、高光时间戳、字幕文本等）。多工具流水线时，上一步输出作为下一步输入。

五、三套豆包工作输入指令（照抄即用）

在豆包工作中，你不需要手动输入 CLI 命令。只需用自然语言描述需求，AI 会自动读取技能文档、构造参数、调用 mediakit-cli 并轮询结果。以下三套指令可直接复制到豆包工作对话框中使用：

帮我用 AI MediaKit 视频智能处理工具修复这条老视频，按以下步骤操作：

1. 先用画质增强的 standard 版本，场景模板选"老片修复"（old_film），目标分辨率超分到 1080p，帧率保持原片不变，码率等级用 medium
2. 增强完成后，用语音转字幕（asr-subtitles）识别视频中的语音内容，输出带时间戳的字幕文本，语种自动探测，开启说话人识别
3. 把识别出的字幕用 editing 域的 add-subtitle-to-video 压制回增强后的视频，位置用底部居中，字体用思源黑体，字号 50px
4. 最后给视频加暗水印，嵌入数字信息"20260920_archive_001"，用于版权溯源

素材文件：old_video.mp4（已上传）
每步完成后告诉我结果，最后输出修复后带字幕的成片下载链接和暗水印视频下载链接。

帮我用 AI MediaKit 视频智能处理工具做短剧二次创作，按以下步骤操作：

1. 先用剧本还原（drama-script）把这集短剧转化为结构化剧本文本，识别场景、人物、对话和情节，返回完整剧本数据
2. 用高光片段提取（analyze-video-highlights），模型选短剧（Miniseries），模式选 StorylineCuts，识别钩子点、反转、亲密、冲突等高光片段，输出时间戳和打分
3. 基于高光分析结果，用短剧高光智剪（generate-highlights-microdrama）生成一条 60 秒的高光混剪视频，用跳剪方式
4. 最后用竖版解说视频生成（drama-recap-vertical），基于高光混剪生成竖版解说视频，用旁白解说模式（AI语音+BGM），套用短剧三要素视觉模板

素材文件：drama_episode.mp4（已上传，带内嵌中文字幕）
每步完成后告诉我结果，最后输出结构化剧本、高光时间戳列表、高光混剪视频和竖版解说视频的下载链接。

帮我用 AI MediaKit 视频智能处理工具做内容合规处理，按以下步骤操作：

1. 先用人脸打码（face-blur-video），对视频中所有人脸进行马赛克处理，强度用 high，连侧脸歪头也一起打码（upright_face_only=false），人脸边界框扩展比例 0.3
2. 打码完成后，用精细化字幕擦除（erase-video-subtitle-pro）擦除视频画面底部的硬字幕，用 v5 算法，模式选 Subtitle，只擦除正片部分（跳过前 10 秒片头和最后 5 秒片尾），字幕过滤器用默认值
3. 擦除完成后，用语义智能分段（semantic-segment）把处理好的长视频切分为多个语义完整的独立素材片段，保证不切断句子
4. 最后用视频抽帧（extract-frames）从每个分段中抽取 1 张封面图

素材文件：interview_raw.mp4（已上传，4K分辨率，约8分钟）
每步完成后告诉我结果，最后输出合规处理后的完整视频、语义分段列表和各段封面图的下载链接。

六、适用场景与边界

适合场景

✅

短剧/影视二次创作：剧本还原→故事线分析→高光提取→高光智剪→解说视频生成，一条流水线搞定短剧切片、预告、解说号内容。

✅

老视频/低质视频修复：三档画质增强（standard/fast/generative）+ 老片修复场景模板，自动去噪/色彩增强/超分/瑕疵修复。

✅

内容合规与版权保护：人脸自动打码（采访/街拍/纪录片）、硬字幕无痕擦除（去台标/去水印/二次创作）、暗水印嵌入与提取（版权溯源/泄露追踪）。

✅

小游戏/影视买量素材：小游戏录屏高光自动识别（连击/通关/极限操作），影视长视频批量拆条为短视频素材，自动去片头片尾。

✅

视频内容理解与结构化：通用视频内容分析（审核/检索/标签）、场景自动切分、语义智能分段，为长视频二次创作提供素材预处理。

不适合场景（转其他技能）

❌

裁剪/拼接/加字幕/混音等确定性剪辑：需要手动剪辑操作 → 转 byted-mediakit-editing

❌

从零视频创作/广告创意/短剧剧本写作：需要创意生成和提示词规划 → 转 doubao-creative-video 或 doubao-creative-drama

❌

音频转码/人声分离/语音端点检测：需要音频智能处理 → 转 byted-mediakit-audio

❌

单张图片增强/抠图/去水印/OCR：需要图像处理 → 转 byted-mediakit-image

七、避坑提醒

避坑提醒

画质增强耗时长，需持续轮询：enhance-video 的 professional 版或 4K/8K 超分可能超过单次 query-task 的 9 分钟轮询上限。若返回 status: running 且命令正常退出，属预期行为，用同一 task_id 继续 --poll-complete，不要当作异常。

短剧工具对输入有严格要求：drama-script 和 analyze-video-highlights 的短剧模型要求视频必须包含内嵌硬字幕、音频轨道必须包含清晰可识别的中文对话文本，仅含 BGM 或纯音乐无法准确识别剧情。短剧高光提取单次最多 30 个视频、累计 45 分钟。

ASR 识别的是语音不是画面字幕：asr-subtitles 识别的是音轨中的语音内容，不是画面上已烧录的硬字幕。如果需要提取画面上的字幕文字，用 video-ocr。如果需要擦除画面硬字幕，用 erase-video-subtitle-pro。

字幕擦除要配置过滤器避免误擦：erase-video-subtitle-pro 默认 Subtitle 模式只处理画面下半部分，但大标题、台标、水印可能被误擦。建议配置 subtitle_filter（文字高度上下限+居中偏离比例），或用 erase_ratio_location 指定精确擦除区域（最多20个框）。

人脸打码有分辨率和时长限制：face-blur-video 最高支持 4K，推荐 1080P 获得最佳效果，帧率需在 25-60 范围内，视频时长不得超过 10 分钟。超长视频需要先裁剪分段处理。

临时链接 24 小时过期：未设置 media_output_destination 时，所有输出 URL 都是临时下载链接，有效期 24 小时，务必及时下载保存。结构化数据（如剧本 JSON、高光时间戳）也要及时保存。

八、一句话收个尾

AI MediaKit 视频智能处理的核心价值是把"看懂视频"和"智能处理"的能力命令化、流水线化。29 个工具覆盖从画质增强到剧本还原、从高光拆条到人脸打码的全流程，AI 大模型代替人工看片、找高光、擦字幕、打马赛克。当你需要批量处理几十条短剧做切片、修复老视频提升画质、或者给采访视频做合规处理时，这套 AI 工具集就是最高效的选择——在豆包工作中用一句自然语言指令，就能触发复杂的 AI 处理流水线。

作者声明：本作品含 AI 生成内容